Trong kháng chiến chống Mỹ, ông đã giữ những chức vụ quan trọng trong quân đội như Tham mưu trưởng Sư đoàn 316 rồi Cục phó cục khoa học Quân sự Bộ tổng Tham mưu, phó Tư lệnh quân khu 4, Cục phó rồi Cục trưởng Cục tác chiến, Tư lệnh mặt trận Tây Nguyên, Phó Tư lệnh Chiến dịch Tây Nguyên rồi tư lệnh quân đoàn 3.[3]

Trên cương vị là Cục trưởng Cục tác chiến bộ tổng tham mưu, rồi là Tư lệnh mặt trận Tây nguyên và Phó Tư lệnh chiến dịch Tây Nguyên, ông đã xây dựng phương án tác chiến, tham mưu chỉ huy và đã giành được thắng lợi trong trận Buôn Ma Thuột giải phóng Tây Nguyên, tạo ra bước đột phá quan trọng trong việc thống nhất Việt Nam.[4] Trong chiến dịch Hồ Chí Minh, mùa xuân năm 1975, ông là tư lệnh Quân đoàn 3 (Binh đoàn Tây Nguyên) đảm nhiệm hướng Tây Bắc, là tấn công chủ yếu của chiến dịch, tiêu diệt Sư đoàn 25 của Quân lực Việt Nam Cộng hoà, sau đó tiếp tục đánh chiếm sân bay Tân Sơn Nhất và Bộ Tổng tham mưu quân đội Việt nam Cộng hòa. Quân đoàn 3 dưới sự chỉ huy của ông đã nhanh chóng bao vây chia cắt, đập tan mọi sự kháng cự của Sư đoàn 25 quân đội Việt Nam Cộng hòa, là quân đoàn đầu tiên đặt chân đến cửa ngõ Sài Gòn và vào ngày 30 tháng 4 năm 1975 đã giương cao lá cờ của quân đoàn trên nóc tòa nhà bộ tư lệnh không quân & Bộ Tổng tham mưu của quân lực Việt Nam Cộng hòa.[5][6]